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Bildjgeber 

Stand der Technik 

Die Brfindung geht aus von einem Bildgeber nach der Gattung des unabhangigen 
Patentanspruchs. 

Aus WO 01/60662 Al ist bereits ein Bildgeber, der in einem Fahrzeug angeordnet ist, 
bekannt. Er wird hier zur Sitzbelegungserkennung verwendet 

Vorteile der Brfindung 

Der eifindungsgemaBe Bildgeber mit den Merkmalen des unabhangigen Patentanspruchs 
hat demgegeniiber den Vorteil, dass der Bildgeber anhand seines Bildsignals seine 
FunktionsfMhigkeit iiberwacht Dadurch wird eine Sicherheitsanforderung an ein solches 
Bilderkennungssystem erfUllt. Der Bildgeber kann dabei sowohl zur Ihsassenerkennung, 
Besdnmiung der Pose des Ihsassen oder zur Klassifizierung der Belegungssituation 
verwendet werden, aber auch zur Umfeldtiberwachung und auch dabei beispielsweise zur 
UberroUerkennung. losbesondere ist damit eine zusStzliche Sensorik zur tJberwachung 
der Funktionsfahigkeit nicht mehr notwendig, bzw. es k5nnen Anforderungen an 
zusatzliche tJberwachungsvorrichtungen reduziert werden. Insbesondere sind hier 
Bildgeber in sicherheitsrelevanten Anwendungen anwendbar, wie es Systeme zum 
Insassenschutz sind. Gerade hier ist die Funktionsfahigkeit des Bildgebers essentiell fur 
die Funktionsfahigkeit. 
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.Durch die in den abhangigen Anspriichen aufgefuhrten MaBnahmen tmd Weiterbildungen 
sind vorteilhafle Verbessenmgen des im unabhangigen Patentanspruch angegebenen 
Bildgebers mSglich. 

Besonders vorteilhaft ist. dass der Bildgeber eine Auswerteeinheit aufweist, die aus dem 
Bildsignal wenigstens einen Wert ableitet, den die Auswerteeinheit mit wenigstens einem 
Grenzwert zur tJberwachung der Funkdonsfdhigkeit vergleicht Dabei kann dann ein 
Erfahrungswissen iiber Mess-Signalverlaufe einfliefien. Ihsbesondere ist es dabei 
m5glich, einen Grenzwertesatz zu vergleichen, der in einem Speicher, der dem Bildgeber 
zugeordnet ist, abgelegt ist Durch den Vergleich mit mehreren Grenzwerten kann 
insbesondere ein Systemzustand bestimmt werden. Vorteilhafterweise wird dann dieser 
Systemzustand iiber eine Schnittstelle an weitere Systeme ubermittelt Diese Schnittstelle 
kann als eine Zweidrahtschnittstelle beispielsweise zu einem Steuergerat ausgebildet sein, 
sie kann aber auch als eine Busschnittstelle ausgebildet sein. Dafur konnen dann 
beispielsweise optische, elektrische oder Funkbuskonfigurationen verwendet werden. 

Weiterhin ist es von Vorteil, dass der Bildgeber anhand wenigstens eines invarianten 
Musters das Bildsignal erzeugt. Dieses invariante Bildsignal wird dann zur 
Selbsttiberwachimg verwendet, indem es mit einem intemen Referenzmuster verglichen 
wird. Dazu k5nnen naturlich vorkonranende invariante Merkmale des Umfeldes oder von 
einem System automatisch induzierte invariante Merkmale, beispielsweise mit Hilfe eines 
Beleuchtungsmoduls oder kQnstlich induzierte invariante Merkmale des Umfeldes, zum 
Beispiel vorgesehene Targets, oder durch ein Testbildverfahren erzeugt werden. Beim 
Testbildverfahren wird der Auswerteeinheit ein simuliertes Sensorsignal zugefiihrt. Das 
dazugeharige Mess-Signal ist vorgegeben. Abweichungen fiihien dann zu einer 
FeUenneldung. 

Weiterhin ist es von Vorteil, dass der Bildgeber anhand ernes Verlaufs des Bildsignals 
seine Funktionsfahigkeit uberwacht. Dies kann beispielsweise durch einen emfachen 
Vergkich benachbarter Bereiche des Bildgebers durchgefiihrt werden. Auch ein 
3^*nstervergleich, also ein Vergleich mit qualitativen Signalverlaufen ist hier moglich. 
Trends konnen analysiert werden oder statistische Parameter, oder es koimen 
Korrelationsverfahren auf den Bildsignalsverlauf angewendet werden. Aber auch 
spektrale Methoden wie die Analyse des Fourierspektrums, des Waveletspektrums oder 
des Kontrastspektrums konnen hier Anwendung finden. 
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Daniber hinaus ist es von Vorteil, dass der Bildgeber, wenn er wenigstens zwei 
bildgebende Sensoren aufweist, durch einen Vergleich der Ausgangssignale dieser zwei 
bildgebenden Sensoren seine Fimktionsfahigkeit iiberpriift. Dadurch kann die Redundanz 
eines Verbundes von hoch auflosenden Sensoren, wie es beispielsweise ein Array oder 
auch eine Stereokamera ist, ausgenutzt werden. Auch hier sind dann die Methoden der 
Analyse des Bildsignalverlaufs anwendbar. Auch die Ausnutzung einer zeitlichen 
Redundanz durch eine zeitliche Analyse des Sensorsignals bzw. Analyse von 
aufgezeichneten dynamischen Vorgangen ist hier moglich. 

Die Selbstuberwachung des Bildgebers kann in einer Initialisierungsphase oder auch 
dauemd oder intentdttierend wahrend des Betriebs durchgeftthrt werden. 

DarUber hinaus ist es von Vorteil, dass der Bildgeber mit einer Diagnoseeinheit 
verbindbar ist. die die Selbstliberwachung des BQdgebers aktiviert. Diese 
Diagnoseeinheit kann im Fahrzeug angeordnet sein oder auch auJJerhalb des Fahrzeugs, 
umdann iiber eine Funkverbindung die Selbstuberwachung durchzufiihren. Denkbar ist, 
dass imFalle einer Aktivierung durch die Diagnoseeinheit auch ein erweitertes 
Testprogrannn durchgefuhrt wird, da es ni5glich ist, zum Beispiel Musterdateien zu 
iibertragen, oder auch Langzeittests durchzufiihren. Weiterhin kann es von Vorteil sein, 
dass der Bildgeber manuell zur Selbstuberwachung aktivierbar ist. Dafiir weist dann der 
Bildgeber entsprechende Bedienelemente oder Schnittstellen auf, die durch eine 
Betatigung eines Gerates die Selbstuberwachung einleiten. 

Der Bildgeber kann insbesondere tiefenhildgebend konfiguriert sein, d.h. es werden 
beispielsweise zwei Bildsensoren verwendet, una eine Tiefenaufl5sung eines Objekts zu 
erhalten. Dafiir kann auch eine Matrix oder ein Array von Bildsensoren verwendet 
werden. Denkbar ist auch ein Tiefenbildsensor, der nach anderen physikalischen 
Prinzipien arbeitet, wie beispielsweise demLaufeeitprinzip oder der Prinzip der 
strukturierten Beleuchtung. 

Zur Selbstuberwachung, aber auch flir andere Zwecke, kann es vorteilhaft sein, eine 
Beleuchtungsvorrichtung aufzuweisen, die dem Bildgeber zugeordnet ist. 
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Zeichnung 

Ausfiihrungsbeispiele der Erfindung sind in der Zeichnung dargestellt und werden in der 
nachfolgenden Beschreibung naher erlautert. 

Es zeigen 

Figur 1 ein erstes Blockschaltbild des erfindungsgemaBen Bildgebers, 
Figur 2 ein zweites Blockschaltbild des erfindungsgemaBen Bildgebers und 
Figur 3 ein drittes Blockschaltbild des erfindungsgenmBen Bildgebers. 

Beschreibung 

Hochentwickelte, hochauflosende bild- bzw. tiefenbildgebende Mess-Systeme sind fUr 
Anwendungen in der Kraftfahrzeugtechnik zunehmend interessant. Als videobasierte 
Assistenzsysteme und Sicherheitssysteme sind hier besondere Anwendungen vorgesehen. 
Je starker der Mensch entlastet werden soli, desto zuverlassiger muss ein seiches Mess- 
System sein. In diesem Zusammenhang konunt auch der Fahigkeit des Systems, einen 
Ausfall zu detektieren und geeignete MaBnahmen einzuleiten, cine groBe Bedeutung zu. 
ErfmdungsgemaB wird nun ein solcher Bildgeber vorgeschlagen, der diese Fahigkeit zur 
Selbstuberwachung hat, wobei dieser Bildgeber im Kraftfahrzeug eingebaut ist. Kem der 
Erfindung ist die Integration dieser Selbstiiberwachungsfunktionalitat in ehi hoch 
auflosendes bild- bzw. tiefenbildgebendes Mess-System. 

Da solche Mess-Systeme zur Messwertgenerierung iiber mindestens eine leistungsfShige 
Auswerteeinheit verfilgen. wird eine Selbsttiberwachungsfunktionalitat realisiert, indem 
durch Methoden der Signalverarbeitung mit Hilfe der Auswerteeinheit aus den 
Sensorsignalen selbst GroBen ermittelt werden, die auf die FunktionstUchtigkeit des 
Sensors bzw. des Mess-Systems schlieBen lassen. Vor- und Erfahrungswissen iiber 
Signalverlaufe wird geeigneterweise ausgewertet. Im einfachsten Fall wird eine 
KenngroBe, die aus dem Bildsignal abgeleitet wurde, mit einem Grenzwert bzw. einem 
Grenzwertesatz verglichen, der in einem Speicher, der dem Bildgeber zugeordnet ist, 
abgelegt ist. 




Eine andere Moglichkeit ist. auf Basis mehrerer verschiedener GroBen eine Bewertung 
des Systemzustands durchzufiihreii. Werden Grenzwerte iiberschritten oder auf andere 
Weise eine eingeschrankte Funktionalitat bis bin zum Sensorversagen festgestellt, so wird 
iiber eine geeignete Schnittstelle ein entsprechender Statusreport ubemuttelt, zumindest 
aber der Ausfall des Bildgebers gemeldet. tJber diese Schnittstelle wird im anderen Fall 
die Funktionstiichtigkeit des Bildgebers iibenndttelt. Die Selbsttiberwachung kann 
wahrend der Initialisienmgsphase des Bildgebers zu bestimmten Zeitpimkten oder 
permanent dvirchgefuhrt werden. Die Selbsttiberwachung kann auch von auBen, d.h. 
durch ein tibergeordnetes System wie eine Diagnoseeinheit oder manuell akti\dert 
werden. Denkbar ist, dass imPalle einer Aktivierung durch ein Diagnosesystem auch ein 
erweitertes Testprogramm durchgefQhrt wird, da es mbglich ist, beispielsweise 
Musterdateien zu iibertragen oder auch Langzeittests durchzufuhren. 

Figur 1 zeigt in einem ersten Blockschaltbild den erfindungsgemaBen Bildgeber. Der 
physikalische Prozess 10 (die Szene) wird durch den Sensor 12 als Bildsignal abgebildet. 
Der Sensor 12 bildet mit einer Verarbeitungseinheit 13 ein Mess-System. Das Bildsignal, 
das vom Sensor 12 erzeugt wird, wird von der Verarbeitungseinheit 13 aufbereitet und 
verarbeitet. tTber eine erste Schnittstelle 14 wird das Mess-Signal, also das Bildsignal zu 
weiteren Systemen, wie beispielsweise einem Steuergerat fur die Insassenerkennung 
tibertragen. 

tJhtr eine weitere Schnittstelle 15 wh:d der Status des Bildgebers, der hier dargestellt ist, 
iibertragen und der auch anhand des Bildsignals festgestellt wurde. Wie oben dargestellt 
wird der Status des Bildgebers, also seine Selbsttiberwachung, entweder durch die 
Ausnutzung des Vorwissens tiber ihre invarianten Muster, oder Erfahrungswissen tiber 
Mess-Signalverlaufe oder Redundanz eines Verbundes von Sensoren oder durch die 
Ausnutzung von zeitlicher Redundanz durchgefiihrt. Die Schnittstellen 14 und 15 k5nnen 
auch in einer Schnittstelle zusammengefasst sein und sind dann nur logisch getrennt Die 
Schnittstellen k5nnen hier Zweidrahtschnittstellen sein oder auch Schnittstellen zu einem 
Bussystem. 

Figur 2 zeigt nun einen Bildgeber, der mehr als einen Sensor zur Bildaufeahme aufweist 
und damit auch zur Tiefenbildgebung konfigiuiert ist. Beispielhaft sind hier drei Sensoren 
22 bis 24 dargestellt, es ist jedoch moglich, lediglich zwei Sensoren oder auch mehr 
Sensoren zu verwenden. Das Mess-System 21 wird daher aus den Sensoren 22 bis 24 und 
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der Verarbeitungseinheit 25 gebildet. Der physikalische Prozess 20 (die Szene) wird 
durch die Sensoren 22-24 abgebildet. Die Verarbeitungseinheit 25 nimmt die BUdsignale 
der Bildsensoren 22 bis 24 auf , verarbeitet diese und fiihrt darai in Abhangigkeit von der 
Auswertung dieser Bildsignale Signale auf die Schnittstellen 26 und 27, um einerseits den 
Status des Bildgebers und andererseits das Mess-Signal seibst zu ubertragen. Die 
Sensoren 22 bis 24 konnen an einzelne Schnittstellenbausteine der Verarbeitungseinheit 
25 angeschlossen sein, sie kSnnen jedoch auch iiber einen Multiplexer oder einen 
intemen Bus mit der Verarbeitungseinheit 25 verbunden sem. Der Bildgeber kaim m 
einer bauhchen Einheit, in der auch die Schnittstellen 26 und 27 integriert sind, 
ausgefOhrt sein. Es ist jedoch m5glich, dass kein Gehause fUr diese gesamten 
Komponenten vorliegt, sondem diese verteilt angeordnet smd. Die Verarbeitungseinheit 
25 fUhrt dann, wie oben beschrieben, die Analyse des Bildsignals durch, um die 
Selbstiiberwachung des Bildgebers durchzuflihren. 

Figur 3 zeigt in emem dritten Blockschaltbild den erfmdungsgemMBen Bildgeber. Hfier 
sind zwei Sensoren als Videokameras 31 und 32 vorhanden, die an eine 
Verarbeitungseinheit 33 angeschlossen sind. Diese weist ein Progrannn 34 zur 
Sensordatenverarbeitung und ein Progrannn 35 zur Selbstiiberwachung auf. Die 
Selbstuberwachung 35 wird auch an den Bildsignalen der Videokameras 31 und 32 
durchgefuhrt. ZusStzlich steuert die Verarbeitungseinheit 33 eine Beleuchtungseinheit 
bzw. einen Signalgeber 36 an, um beispielsweise die Selbstuberwachung durch Vergleich 
selbstinduzierter Muster mit deren intemer Representation durchzufUhren. Die 
Verarbeitungseinheit 33 ist weiterhin an Schnittstellen 37 und 38 angeschlossen, die 
jeweils zur Ubertragung des Mess-Signals, also des Bilds oder Tiefenbilds und des Status 
bzw. des Ergebnisses der Selbstiiberwachung dienen. Das Mess-System 30 besteht also 
aus den Videokameras 31 und 32, der Verarbeitungseinheit 33 und der 
Beleuchtungseinheit 36. Der gesamte Bildgeber wird durch die Schnittstellen 37 und 38 
erganzt. Die Sensoren 31 und 32 sind hier als Videokameras ausgebildet. Die 
Ausgangssignale werden der Auswerteeinheit 33 zugefiihrt, die zur Erzeugung der 
raumlichen Daten geeignete Verarbeitungsschritte wie Bildverarbeitung, 
Koirelationsverfahren oder Triangulation ausfiihrt. Diese Verarbeitungseinheit 33 fiihrt 
aber auch geeignete Verfahren zur Selbstiiberwachung des Mess-Systems aus. 
Ausgangssignale des Stero- Video-Mess-Systems sind in diesem Ausfixhrungsbeispiel 
Bild, Tiefenbild und Statussignal des Mess-Systems 30. 
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In der nachfolgenden Tabelle sind mogliche Probleme, die zu einer eingeschrankten 
Funktionsfahigkeit des ausgefuhrten Mess-Systems fiihren konnen, aufgefUhrt. Spalte 2 
imd 3 enthalten die geeigneten Daten und Methoden der Signalverarbeitung, um die 
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Analysierte Daten 
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(partielle) 
Verdeckung 
des Sensors 


Grauwertbild des Sensors 1 


Ausnutzung von Vorwissen iiber 
invariante Muster: 

• Natiirlich vorkommende invariante 
Merkmale des Umfeldes. 

• Vom System automatisch induzierte 
invariante Merkmale (z.B mit HBlfe 
eines Beleuchtungsmoduls) 

ausnutzung zemicner jxcu.uuu.ajLi.£.. 

• Analyse von aufgezeichneten 
dynamischen Vorgangen. 




Grauwertbild des Sensors 2 


Siehe Grauwertbild des Sensors 1 




Grauwertbilder der Sensoren 
1 und 2 


Ausnutzung von Erfahrungswissen iiber 

Messignalverlaufe: 

• Analyse statistischer Parameter 
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Verbxmdes von hochauflosenden 
Sensoren: Vergleich von verschiedenen 
Einzelsensorsignale des 
Sensorverbundes. 




Tiefenbild 


Siehe Grauwertbild des Sensors 1 


Dekalibrieru 
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detektion 


Grauwertbild des Sensors 1 


Ausnutzung von Vorwissen iiber 
invariante Muster: 

• Natiirlich vorkommende invariante 
Merkmale des Unafeldes. 

• Vom System automatisch induzierte 
invariante Merkmale (z.B mit Hilfe 
eines Beleuchtungsmoduls) 




Grauwertbild des Sensors 2 


Siehe Grauwertbild des Sensors 1 
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Ausnutzung der Redundanz eines 
Verbxmdes von hochauflosenden 
Sensoren: Vergleich von verschiedenen 
Einzelsensorsignale des 
Sensorverbimdes. 
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Fehler in der 
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Grauwertbild des Sensors 1 


Ausnutzung von Erfahrungswissen Uber 
Messignalveriaufe 

• Einfacher Vergleich benachbarter 
Bereiche des Sensors 

• Vergleich mit Grenzwerten 

• Vergleich mit qualitativen 
Signalverlaufen 

• Analyse von Trends 

• Analyse statistischer Parameter 

• Analyse weiterer spektrale 
Eigenschaften. 

Ausnutzung zeitlicher Redundanz: 

• Zeitliche Analyse des Sensorsignals, 

• Analyse von aufgezeichneten 
dynamischen VorgMngen. 




Grauwertbild des Sensors 2 


Siehe Grauwertbild des Sensors 1 




Grauwertbilder der Sensoren 
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Ausnutzung der Redundanz eines 
Verbundes von hochauflosenden 
Sensoren: Vergleich von verschiedenen 
Einzelsensorsignale des 
Sensorverbundes. 
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Grauwertbild des Sensors 1 


Ausnutzung von Erfahrungswissen iiber 
Messignalveriaufe 

• Analyse statistischer Parameter 

• Analyse des Kontrastspektrums 

• Analyse weiterer spektrale 
Eigenschaften 

Ausnutzung zeitlicher Redundanz: 

• Zeitliche Analyse des Sensorsignals. 

• Analyse von aufgezeichneten 
dyn£UDischen Vorgangen. 




.Grauwertbild des Sensors 2 


Siehe Grauwertbild des Sensors 1 




GrauwertbUder der Sensoren 
lund2 


Ausnutzung der Redundanz eines 
Verbundes von hochauflSsenden 
Sensoren: Vergleich von verschiedenen 
Einzelsensorsignale des 
Sensorverbundes. 



Ein stereo-video-basiertes Mess-System ist als ein typisches Beispiel fQr ein 
hochaufl5sendes bild- oder tiefenbildgebendes Mess-System zu sehen, auf das man viele 
der vorgestellten Methoden der Signalverarbeitung bzw. Mustererkennung zur 
SelbstUberwachung anwenden kann. Insbesondere eine weitgehend unabhSngige 




R. 304442 

Erzeugung der Einzelsensorsignale soUte eine leistungsfahige 
Selbstuberwachungsfunktionalitat ennoglichen. 
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Anspruche 

1. Bildgeber, der in einem Fahrzeug angeordnet ist, dadurch gekeimzeichnet, dass der 
Bildgeber derart konfiguriert ist, dass der Bildgeber anhand eines BUdsignals seine 
Funkdonsfdhigkeit iiberwacbt. 

2. Bildgeber nach Anspruch 1, dadurch gekennzeichnet, dass der Bildgeber eine 
Auswerteeinheit (13, 25, 33) aufweist, die aus demBildsignal wenigstens einen 
Wert ableitet, den die Auswerteeinheit (13, 25, 33) mit wenigstens emem 
Grenzwert zur tJberwachung der Funktionsfahigkeit vergleicht. 

3. Bildgeber nach Anspruch 1 oder 2, dadurch gekennzeichnet, dass der Bildgeber 
eine Schnittstelle (15, 26, 37) aufweist, die derart konfiguriert ist, dass uber die 
Schnittstelle (15, 26, 37) die Funktionsfahigkeit des Bildgebers ubertragen wird. 

4. Bildgeber nach einem der vorherigen AnsprUche, dadurch gekennzeichnet, dass der 
Bildgeber derart konfiguriert ist, dass der Bildgeber anhand wenigstens eines 
invarianten Musters das Bildsignal erzeugt. 

5. Bildgeber nach eiaem der vorherigen AnsprQche, dadurch gekennzeichnet, dass der 
Bildgeber derart konfiguriert ist, dass der Bildgeber anhand eines Verlaufs des 
Bildsignals seine Funktionsfahigkeit iiberwacht 

6. Bildgeber nach einem der vorhergehenden Anspruche, dadurch gekennzeichnet, 
dass der Bildgeber wenigstens zwei bildgebende Sensoren (31, 32) aufweist, wobei 
der Bildgeber durch einen Vergleich von Ausgangssignalen der wenigstens zwei 
bildgebenden Sensoren (31, 32) seine Funktionsfahigkeit Uberpriift. 
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7. ^ Bildgeber nach einem der vorhergehenden Anspruche, dadurch gekennzeichnet, 

dass der Bildgeber derart konfiguriert ist, dass der Bildgeber wahrend einer 
Initialisierungsphase seine Fimktionsfahigkeit iiberwacht. 

8. Bildgeber nach einem der vorhergehenden Anspruche, dadurch gekennzeichnet, 
dass der Bildgeber mit einer Diagnoseeinheit verbindbar ist, die die 
SelbstUberwachung des Bildgebers akdviert. 

9. Bildgeber nach einem der vorhergehenden Anspriiche, dadurch gekeimzeichnet, 
dass der Bildgeber derart konfiguriert ist, dass die SelbstUberwachung manuell 
aktivierbar ist 

10. Bildgeber nach einem der vorhergehenden Anspriiche. dadurch gekennzeichnet, 
dass der Bildgeber tiefenbildgebend konfiguriert ist 



1 1. Bildgeber nach einem der vorhergehenden Anspruche, dadurch gekennzeichnet, 
dass der Bildgeber Mittel zur Beleuchtung (36) aufweist. 
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Bildgeber 
Zusammenfassimg 

Es wird einBildgeber, der in einemPahrzeug angeordnet ist, vorgescMagen, der derart 
konfiguriert ist. dass er eine Selbstiiberwachung durchfiihrt. Dies kann anhand von der 
Auswertung von invarianten Mustem, von Erfahrungswissen iiber Mess-Signalverlaufe, 
dutch Ausnutzung der Redundanz eines Verbundes von Sensoren oder dutch die 
Ausnutzung von zeitlichet Redundanz eifolgen. 
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